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Разработаны актуальный алгоритм построения тестовых 
материалов и методика оценивания результатов тестирования, 
позволяющие сочетать высокую оценочную способность и 
объективность тестов. Тестовую систему в таком случае 
можно рассматривать как аппарат оценивания уровня знаний 
при изучении соответствующих модулей. Для систематизации 
знаний производится декомпозиция знаний на множество 
разделов. При этом каждому разделу сопоставляется 
множество подразделов, которое, в свою очередь, состоит из 
подмножества вопросов, ответы на которые раскрывают 
уровень знаний каждого раздела. Задание теста 
формулируется таким образом, что при ответе на него должен 
быть дан набор ответов, раскрывающих уровень знания 
определенного подраздела. Поскольку процесс разработки 


тестового вопроса рассматривается как построение 
многофакторной зависимости, то предлагается к его 
построению подойти с ПОЗИЦИИ планирования 


многофакторных экспериментов. В этом случае множество 
ответов представляется как набор факторов, принимающих 
определенные значения. При их варьировании на двух 
уровнях, задача сводится к построению эксперимента, 
реализующего все возможные сочетания факторов, те. к 
полному факторному эксперименту. Предложена методика 


применения технологии планирования двухуровневых 
многофакторных экспериментов, позволяющих 
формализовать оценку частично неполных знаний и 


реализацию формирования многофакторных тестов различной 
сложности. Для иллюстрации данной методики рассмотрены 


примеры построения тестов для дисциплины «Теория 
автоматического управления», оценивающих — степень 
сформированности уровня знаний. Статистическая обработка 
результатов тестирования показала уровень знаний 


испытуемых, а также степень доверия к этим знаниям. 


Ключевые слова: тестирование, фактор знания, тестовый 
вопрос, оценка ответа, вариативность ответа, неравномерность 
знаний. 
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Введение. Проблема оценки и аттестации знаний студентов в условиях введения новых федеральных государствен- 
ных образовательных стандартов является актуальной для всех российских ВУЗов. Особое внимание уделяется под- 
ходам и методам, позволяющим повысить эффективность использования имеющихся средств контроля знаний в усло- 
виях ограниченности материальных ресурсов [1-4]. 

Удобным и эффективным средством контроля знаний является тестирование [1, 2]. Несмотря на то, что тесто- 
вый контроль является одним из перспективных методов оценки знаний и определения уровня подготовки обучаемых, 
существует множество проблем, с которыми сталкивается преподаватель при внедрении его в учебный процесс. Эти 
проблемы связаны как с подготовкой тестов, так и с оценкой результатов тестирования [5, 6]. 

Одна из проблем связана со сложностью задачи составления тестов и создания достаточно развитых баз те- 
стовых заданий по учебным дисциплинам. Это, конечно же, требует не только больших трудозатрат преподавателей, 
но и, в первую очередь, конкретной, доступной, и, желательно, универсальной методики построения тестов. Кроме 
того, желательно, чтобы эта методика была поддержана необходимым алгоритмическим и программным обеспечени- 
ем с развитым, удобным и легко расширяемым интерфейсом [7-10]. 

Кроме этого, проблемой внедрения тестирования является ограниченность возможностей существующих те- 
стовых технологий. Это относится и к целенаправленному формированию функционала и структуры тестов, и к оцен- 
ке качественной составляющей знаний студентов, а также к процессу проверки и обработки результатов тестирования 
[11, 12]. 

Под качественной составляющей тестового задания здесь понимается возможность оценить степень усвоения 
учебного материала через выставляемую в виде балла оценку. 

В частности, возможности теста расширяются, если используется несколько допустимых ответов с разной 
степенью достоверности ответа. Тогда, даже в случае дозволенности одного ответа на вопрос, тестируемый будет 
иметь оценку, выраженной долей полного знания [13]. Недостатком такого подхода является то, что он не защищен от 
угадывания правильного ответа. Тестируемый в этом случае, имея даже приблизительные знания о вопросе, с боль- 
шой вероятностью имеет шанс угадать ответ с достаточно высокой оценкой. При этом невозможна оценка достовер- 
ности результата тестирования. 

Эту проблему частично решают системы тестирования, допускающие выбор нескольких ответов, кажущихся 
тестируемому наиболее близкими к истине. Тогда возникает возможность оценить и уровень знаний, и степень их 
«размытости». 

Общая характеристика проблемы. В работах авторов [14, 15] предложен и в значительной степени развит подход к 
описанной проблеме, а также даны различные частные примеры ее решения. В данном подходе авторы исходят из 
того, что основным постулатом тестирования является наличие вычлененного из изучаемого материала множества 


ОЕ ЕТ. п} (1) 
вопросов 4, отражающих в совокупности его знание. Степень знания обучающимся вопроса 4; считается в процессе 
тестирования «фактором знания» (ФЗ) и обозначается х;. Таким образом, тестирование превращается в факторный 
эксперимент, задача которого дать общую оценку совокупности знаний обучающимся изучаемого материала. 

Факт знания тестируемого учебного материала отображается отношением 
ь 1 1 1 
5:5, ) > ети, (2) 


Где А' — множество правильных ответов а’ на вопросы 4, ЕО в (1). 





Естественно, факт незнания некоторых элементов изучаемого материала отображается отношением 
: т а 1 
5:5 (41) а] Е А = в) |1=Ъ.. п, (3) 


Где А’ — множество неправильных ответов а 7 на вопросы 4, ЕО в (1). 


Вполне очевидно, что формулировки как правильного, так и неправильного ответа можно сформулировать 
различным образом. Это зависит от особенностей языковой среды, используемых для раскрытия знания исходных 
материалов (монографий, учебников), особенностей терминологии их авторов, субъективных особенностей препода- 
вателя, разрабатывающего текст, и многого другого. Однако будем считать, что в конкретной образовательной среде 


сформированы свои конкретные 4х, 41, а и а/ . Тогда ответ на вопрос по ФЗ можно считать абсолютной оценкой 


этого элемента знания. 

Следовательно, мы имеем факт двоичной оценки ФЗ: «знает — не знает». Такой структуре теста соответству- 
ет двухбалльная оценка знаний: «0 — 1». Однако степень подготовленности тестируемого определяется совокупным 
множеством ответов на множество вопросов, оформленных на основе выделенных ФЗ изученного материала. Таким 
образом, степень знания одного вопроса тоже может быть разной и оценивать общую картину знания обучаемого сле- 
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дует по доле правильных ответов в полном множестве (1). Но тест, оформленный как последовательный процесс отве- 
тов по всем ФЗ даже небольшого раздела дисциплины получается слишком громоздким и утомительным. 
В тестах, учитывающих этот фактор, множество О целесообразно разбивать на подмножества О; ‚› причем 


По, =0,, (4) 


где каждое подмножество О; представляет собой отдельный тестовый вопрос (ТВ), содержащий некоторое количе- 
ство ФЗ, объединенное общей смысловой направленностью [16, 17]. 


Для выявления уровня знания каждого вопроса О; ему сопоставляется подмножество ответов А; , причем 
— СИЕ АХ 
А, = м, ПА, =(4;,4; р (5) 


т.е. в множестве А; ответов, предлагаемых на вопрос О; ДОЛЖНЫ обязательно содержаться ответы содержащие все 





правильные (2) и все неправильные (3) ответы по ФЗ. В противном случае тест приобретает характер либо провока- 
ции, либо подсказки. 


И 


Остальные варианты ответов А, В (5) могут содержать некоторую долю неправильных ответов а; согласно 


(3). Если условная доля содержания правильной информации в таком ответе определена, то таким ответам можно со- 
поставить различные баллы, по которым можно оценивать степень знания вопроса. Комбинируя множества таких от- 
ветов можно составлять тесты, которыми можно оценивать «палитру» знаний [16, 17]. Условие (4) при этом обеспечи- 
вает совокупную оценку всего знания представленного множеством О в (1). 

Однако необходимо учесть еще один недостаток, свойственный традиционной структуре процесса тестирова- 

ния. Выбор единственного ответа на тестовый вопрос значительно снижает эффективность даже предложенного выше 
усовершенствованного подхода к тестированию, т.к. при неполном знании возникает возможность проявления стой- 
ких эффектов, как угадывания, так и невезения. В работах [13—17] авторами предложен кардинально отличный подход 
— дать испытуемому возможность выбора нескольких вариантов ответов, которые на его взгляд кажутся наиболее 
близкими к правильным, не исключая права тестируемого выбрать один вариант ответа. Последнее характеризует 
уверенность его знания и соответствует выбору одного и того же ответа несколько раз. 
Пример решения задачи тестирования знаний на основе парадигмы их факторной оценки. В работах [13-19] 
проанализированы возможности изложенного выше подхода и проверен ряд его положений. Практика использования 
факторных тестов показала, что наиболее эффективны для оценки знаний 3-факторные тесты, описанные и проиллю- 
стрированные примерами в работах [18, 19]. В связи с этим в настоящей статье подробно рассматривается процесс 
составления, использования и последующей обработки именно 3-факторных тестов. 

На основе методики составления многофакторных двухуровневых тестов были сконструированы тестовые за- 
дания и проведено тестирование для выявления знаний обучающихся, изучающих дисциплину «Теория автоматиче- 


ского управления». Каждому испытуемому было предоставлено девять различных трехфакторных ТВ 0; ‚ отражаю- 
щих знание подраздела «Линейные непрерывные модели и характеристики систем управления». На каждый из этих 


ТВ по теории двухуровневого трехфакторного эксперимента можно составить комбинаторно различное множество А; 


из восьми комплексных ответов А; . В данном примере испытуемым предлагалось множество А; из четырех вариан- 


1 Л. 
тов комплексных ответов А, ‚ включающих различные совокупности ответов ат И Ч ь Такие тесты названы автора- 


ми усеченными трехфакторными (У ШФ-тесты). 

Тесты построены на основе сформулированных ФЗ, позволяющих, по мнению разработчиков, по факту пони- 
мания их сущности оценить уровень подготовки тестируемых по данной теме. В соответствии с изложенной в [18, 19] 
методикой каждое усеченное задание сформулировано как тестовый вопрос (ТВ), на который предлагалось четыре 
варианта ответов, выбранных случайным образом из полного трехфакторного тестового задания, содержащего 8 вари- 
антов ответов. 

Содержание этих усеченных трехфакторных ТВ приведены в таблице 1. В этой таблице использованы следу- 
ющие обозначения: ПФ — передаточная функция; ДЗ — динамическое звено; ДУ — дифференциальное уравнение; 
ЛАЧХ — логарифмическая амплитудная частотная характеристика; ФЗ — фактор знания; АФЧХ — амплитудная фа- 
зовая частотная характеристика; АЧХ — амплитудная частотная характеристика; ФЧХ — фазовая частотная характе- 
ристика; ВЧХ и МЧХ — вещественная и мнимая частотные характеристики; ММ — математическая модель; ХП — 
характеристический полином. 

Предложенные рассматриваемыми в таблице | вариантами ТВ правильные и неправильные ответы, относя- 
щиеся к включенным в него ФЗ, сведены в таблицу 2. 
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Таблица 1 


Примеры усеченных трехфакторных тестовых вопросов 





































































































№ 
№ ТВ Формулировка тестового 
ФЗв Формулировка фактора знания ыы 
(ТВ) вопроса 
ТВ; 
= связь структуры ПФ со структурой По заданному ДУ следующего вида: 
' линейного ДУ ДЗ 2 
ТВ, Чу +6 4 +5у=2 й +12х ‚ описывающему, ДЗ найти пере- 
х, смысл понятия нуля ПФ а р? р? 
х, смысл понятия полюса ПФ даточную функцию и определить ее нули и полюса. 
2х тип ДЗ Ця) 
х, ПФ ДЗ 40 20 юк По виду асимптотической ЛАЧХ ДЗ [(и), 
ТВ» ы проходящей через точки 20 дБ и +1, вы- 
х, наклон ЛАЧХ ДЗ оу явить суть ФЗ. 
0 +1 
Хх ПФ в общем виде 
По виду асимптотической ЛАЧХ ДЗ опреде- 
ТВз лить ПФ в общем виде, коэффициент усиле- 
значение коэффициента а 
х, ния и значение постоянной времени. 
- усиления 
значение постоянной 
- времени 
зы представление ПФ ДЗ в частотной 
1 К 
форме - АФЧХ По передаточной функции ДЗ И’(р)= Ее определить ча- 
ТВ х, получение АЧХ по ПФ . 
стотные характеристики: АФЧХ, АЧХ и ФЧХ. 
Хх, получение ФЧХ по ПФ 
Хх, получение ВЧХ по ПФ . В 
По передаточной функции ДЗ И/’(р)=50р, найти частотные 
х получение МЧХ по ПФ 
ТВ5 2 у характеристики: ВЧХ и МЧХ и представить ПФ в показа- 
х, Представление ПФ ДЗ в показатель- тельной форме. 
ной форме 
получение коэффициента усиления 
м по По ПФ и(р)= 120р — — определить коэффициент 
В р? +10р? +100р 
6 
7 знание условия реализуемости ПФ усиления К, оценить условие физической реализуемости и 
Хх оценка астатизма по ПФ наличие или отсутствие астатизма. 
ри нахождение системной 
т матрицы А > 
| По ДУ в переменных состояния, по- 
нахождение матрицы Е : 
ТВ» х, ы а лучить ММ объекта в матрично- 
- УВАВЕНИЯ векторной форме 
нахождение матрицы выхо- жх = 3х, —2х—жз +4и, р р 
| дов С Ум. 
й нахождение ПФ в общем Ва 
| виде По расположению корней ХП ПФ на 
ТВ х, определение типа корней комплексной плоскости определить 
; ПФ в общем виде, тип корней и зна- 
и. о Ве чение постоянных времени. 
времени р=-05 р=-04 
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№ 
№ ТВ Формулировка тестового 
ФЗв Формулировка фактора знания рН 
(ТВ вопроса 
ТВ; 
определение по ЛАЧХ ПФ 
м в общем виде По виду ЛАЧХ ДЗ определить ПФ в 
общем виде, наличие астатизма и 
ТВ ь определение по ЛАЧХ сопрягающую частоту. 
ь . наличие астатизма 
: нахождение сопрягающей 
3 








частоты 

































































Таблица 2 
Правильные и неправильные ответы по факторам ТВ таблицы 1 
8 Ответы по факторам знания 
= 
8 28 
о = о [© 
о & я © 
О: 
зо с Е: м № № 
5 
р 
2р+12 
Й = Е И В =: = 
ТВ, (р) РРР Нуль: р=-6 Полюсы: р=-Бр=-5 
о Интегрирующее 1 
=: ТВ» = - 20 дб\дек 
Е звено 0,1-р 
Е 
я 
ы 
= ТВ: И’(р)=К-(Тр+1 К =10 Т=0/ 
ТВ4 (м) =-0,25 и! А(и) = 0,25 ФС = и 
1 т А И’) = 50-е 2 
ТВ К = 0,12 ПФ — физически реализуемая астатическая 
о 
Е го 0 
Е ТВ” А=|-5 0 3 в=0 Со 0 
[5 
23 59 = 4 
[7 3 
И’ (р)= ТО 
ТВ (р) (р+).(Г.р+1 вещественные полюса т 5 
[4 ‚ — сопрягающая ча- 
ТВь = объект статический и ы 
(Т-р’+28Тр+И стота 
о 26045 
Е: ТВ! И’ (р) а. Нули: р=-Бр=-5 Полюс: р=-6 
д 2р+12 
я 
я 
Е ТВ» Дифференцирующее звено 20-р +20 дб\дек 
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Ответы по факторам знания 

д 

3 

8 =. 

5 

за ы х № 

ТВз > р 

т к=20 Т=0 
[= 
Е 
о ТВа (р) =-0,25 р» Аи) =—0,25 № ФС) = += 
5 
2 
|-> р м 
5 ТВ5 Ке(№)=50 т( и) = 1м И 
Я. 
о 
ы 
5. ТВь К=0,1 ПФ — физически не реализуемая статическая 
> 
110 4 
ТВ7 А=|-5 3 0 В=|0 С=Г о 0 
—-3 -2 -1 0 
ТВ} И(рР)=К-(ПР+И-(Т.рР+И мнимые нули Т; = 0,5 Т, =0,1 
у. 
р: ь и„— сопрягающая ча- 
ТВь Й(р)=К-(Т”р” +2ЕТр+П) объект астатический - 
стота 








По вопросам таблицы 1 была проведена аттестация группы студентов. На каждый вопрос предлагалось по че- 
тыре варианта ответа, составленных из правильных и неправильных ответов по ФЗ вопроса из таблицы 2. При этом 
выполнялось условие (5). Общее количество тестируемых составило 10 человек. Оценки ответов и результаты их об- 
работки сведены в таблицу 3. 


В таблице 3 цветом выделены вопросы, в которых тестируемые выбрали две строки ответов. 


Расчет тестовых оценок начинается с получения оценки ответа 7 -го тестируемого на 1-й тестовый вопрос 


2’ . Это оценка рассчитывается как среднее значение оценок строк тестового вопроса, которых выбрал тестируемый: 


1 К 
= кд, 


где А — количество выбранных строк ответов в /-м тестовом задании (Ё<2). 


(6) 


Допущенная вариативность ответа позволяет ввести меру неравномерности знаний испытуемым всех ФЗ Г-го 


ТВ с’. Она рассчитывается по формуле: 





(7 


Усредненное знание У -м испытуемым всех ФЗ из п вопросов теста естественно оценить показателем е, Л 


рассчитываемым по формуле: 


(8) 


Информатика, вычислительная техника и управление 


сл 
\о 


В р://уезииК.опза.ги 


Вестник Донского государственного технического университета 


Ответы по факторам ТВ таблицы 1 и данные их обработки 


Номер птруемоте (1) 
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0,6 


НН 


0,67 
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0,054 
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5. 
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теста а 


0,33 
Неа 
о 
[033 
и 
0,33 
0,67 
[06| 
ии 


033 


= 0,518 
И 


0,165 


а 

0,054 
ы 0,665 
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[т | 0.665 

[033 | 0,224 
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> 
> 
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0 
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и 
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Но 
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На 
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Тогда неравномерности знания испытуемым всего материала, охватываемого тестом, оцениваются усреднен- 


ным значением с’, всех СКО / -го тестируемого, рассчитанных для него по всему тесту (всем ТВ): 


(9) 





Таким образом, полученные после статистической обработки факторного теста данные достаточно разносто- 


ронни и представительны, т. к. поддержаны всеми ФЗ, входящими во все ТВ теста (в рассматриваемом случае — 


3х9=27). Наряду с традиционной для процедуры тестирования общей оценкой доли усвоенного материала — е; ‚ а 


также дифференцированной оценкой хорошо и плохо усвоенных его элементов — е факторная структура теста 


Й › 
позволяет оценить дополнительные характеристики знания. К таким характеристикам относится возможность более 


дифференцированной общей оценки каждого ТВ, а также неравномерности знания ФЗ в нем — Оу. Также, более 


дифференцированно оценивается общее знание раздела, т.к. е; характеризуется большей дискретизацией. Кроме того, 
возникает возможность общей оценки неравномерности этого знания 5; . 


На рис. 1 приведены гистограмма оценки результатов тестирования группы из десяти фигурантов, проходив- 
ших тестирование по материалу из таблиц 1, 2, ответы которых приведены в таблице 3. Там же приведены результаты 
обработки полученных оценок по формулам (6)—(9). 

Столбчатые гистограммы построены по полученным усредненным оценкам тестируемых по всему тесту от 
наилучших результатов к наихудшему. 

Столбцы гистограммы № 8, № 9, № 3, № 10, №2, № 6 построены по оценкам испытуемых, выбравших в каче- 
стве ответов по одной строке в каждом тестовом задании. Столбцы гистограммы № 4, № 5, № 1, № 7 характеризуют 
испытуемых, проявивших неуверенность своих знаний при ответе на определенные тестовые задания и указавших две 
строки ответов. У этих испытуемых верхушку столбца средней оценки, полученной за тест, «размывает» значение 


СКО, указывающее на неуверенность знаний тестируемых студентов. Это уменьшает фактическую оценку. 





Средняя оценка знаний 











№4 №5 №1 №7 


Тестируемые 


Рис. 1. Гистограмма оценки результатов тестирования 
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Выводы. Рассмотренные примеры тестовых вопросов демонстрируют хороший уровень формализации и удобство 
составления тестов на основе методики многофакторного планирования двухуровневых экспериментов. Кроме того, 
хорошо формализуется оценка результатов теста, что повышает его объективность. Важным нововведением является 
допущение своеобразной «нечеткости» ответа на вопрос теста, и порождаемая этим двухпараметрическая оценка ре- 
зультата теста: оценка неполного знания и степени уверенности этого знания. Результаты тестирований с использова- 
нием двухфакторных и трехфакторных тестовых заданий установили роль «факторности» теста, влияющую на ранжи- 
рование испытуемых с неуверенными знаниями. Таким образом, предложенная модель оценки результатов факторно- 
го тестирования вполне логична, проста и достаточно адекватно отражает состояние знания тестируемого. Она дает 
дополнительные возможности, как преподавателю для оценки не только среднего знания, но и степени уверенности 
испытуемого, так и самому тестируемому, давая ему шанс в виде ответов с частичными знаниями. Эти свойства фак- 
торного подхода к тестированию подтверждены многократным тестированием студентов кафедры «Автоматизация 
производственных процессов», изучающих дисциплину «Теория автоматического управления». 
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